Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving
聚类、路由、升级：面向成本感知LLM服务的级联框架
🧭 LLM级联路由与成本优化
ADAPT Centre, Trinity College Dublin · Huawei Research
两阶段级联：先聚类查询并分配最经济的模型，再通过质量估计升级低质量输出，仅用正确性标签实现成本-准确率优化。
📌 工作参考价值（4 点）
- 多规格LLM路由架构：电商搜索/推荐/Agent场景常有多型号LLM（如7B/70B）。可借鉴其两阶段设计：先用聚类将用户查询按意图分组，如“商品咨询”“售后投诉”“闲聊”，为每组预先分配性价比最高的模型，避免大模型过载。
- 成本可控的升级机制：第二阶段质量估计与升级，类似于推荐系统的粗排-精排级联。可为Agent生成的回复或推荐文案设置质量阈值，当小模型输出置信度低时自动升级到大模型重生成，在保证准确率的同时节省平均推理成本。
- 仅需任务正确性标签，适合快速迭代：框架无需额外的人工标注偏好或优劣对比，只需业务已有的正确/错误标签（如用户满意度标签、客服解决状态）即可离线调优λ和升级阈值，降低维护成本。
- 可解释的超参数控制运营权衡：通过λ显式设定推理成本预算，业务运营可灵活调整“省钱-更准”的天平，无需重新训练或手动配置路由规则，模型池变化时自动适配。